Năm 1928 ông thành lập Cường học thư xã chuyên xuất bản sách cổ võ tinh thần yêu nước, nâng cao dân trí.

Cũng trong năm này, ông tham gia nhập Việt Nam Quốc dân đảng và tổ chức đảng bộ trong Nam giữ cương vị Bí thư kỳ Nam bộ.

Rồi bị Pháp bắt vào khoảng tháng 8 năm 1928, bị kết án 5 năm tù và đày ra Côn Đảo. Trong tù, vì tiếp xúc với người cộng sản ông tiếp thu chủ nghĩa cộng sản, tuyên bố li khai Quốc dân đảng, tự nguyện đứng vào hàng ngũ những người cộng sản.

Năm 1935, ông ra tù, bị trục xuất về miền Bắc.

Từ năm 1936, ông được kết nạp vào Đảng Cộng sản Đông Dương, tích cực hoạt động cho đảng.

Tháng 10 năm 1939 lại bị bắt đày đi Sơn La, Bá Vân, Nghĩa Lộ. Đến tháng 3 năm 1945, tham gia phá trại giam Nghĩa Lộ, vượt ngục trở về Hà Nội làm công tác cách mạng.